这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此,我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战,这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题,旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作,包括决策者,建模者和潜在影响社区的成员,以严格评估数据驱动的算法的特定设计的合理性和使用系统。
translated by 谷歌翻译
机器学习(ML)从业人员越来越多地承担着与非技术专家的价值观和目标保持一致的模型。但是,关于从业人员如何将域专业知识转化为ML更新的考虑不足。在本文中,我们考虑如何系统地捕获从业者和专家之间的互动。我们设计了一种分类法,以将专家反馈类型与从业者更新相匹配。从业者可以从观察或域级别的专家那里收到反馈,并将此反馈转换为数据集,损耗函数或参数空间的更新。我们回顾了ML和人类计算机互动中的现有工作,以描述这种反馈更高的分类法,并强调了不足以纳入非技术专家的反馈意见。我们以一系列的开放问题结尾,这些问题自然而然地源于我们提议的分类法和随后的调查。
translated by 谷歌翻译
混合人类ML系统越来越多地负责各种领域的结果决策。越来越多的经验和理论工作已经提出了我们对这些系统的理解。但是,现有的经验结果混合在一起,理论建议通常是互不兼容的。在这项工作中,我们提出了一个理解条件的统一框架,在该框架下,将人类和ML的互补优势结合起来会导致比单独单独产生的决策更高的质量决策 - 我们称之为人类ML互补性。我们专门关注人类ML预测性决策的背景,并研究结合人类和ML预测性决策的最佳方法,这是其判断中基本变化来源的理解。在此范围内,我们提出了两个至关重要的贡献。首先,从心理学,机器学习和人类计算机互动中的先前文献进行决策和借鉴的计算观点,我们引入了一种分类学,描述了人类和机器决策不同的广泛标准。其次,将我们的分类法进行正式化,使我们能够研究人类和ML预测性决策应如何最佳地汇总。我们表明,我们提出的框架包括一些现有的人类ML互补模型作为特殊情况。最后但并非最不重要的一点是,对我们框架的初步探索性分析为未来在人类ML互补性方面的工作提供了关键的见解:我们结合人类和ML判断的机制应由其决策中的基本原因来告知。
translated by 谷歌翻译
Motivated by the growing importance of reducing unfairness in ML predictions, Fair-ML researchers have presented an extensive suite of algorithmic 'fairness-enhancing' remedies. Most existing algorithms, however, are agnostic to the sources of the observed unfairness. As a result, the literature currently lacks guiding frameworks to specify conditions under which each algorithmic intervention can potentially alleviate the underpinning cause of unfairness. To close this gap, we scrutinize the underlying biases (e.g., in the training data or design choices) that cause observational unfairness. We present the conceptual idea and a first implementation of a bias-injection sandbox tool to investigate fairness consequences of various biases and assess the effectiveness of algorithmic remedies in the presence of specific types of bias. We call this process the bias(stress)-testing of algorithmic interventions. Unlike existing toolkits, ours provides a controlled environment to counterfactually inject biases in the ML pipeline. This stylized setup offers the distinct capability of testing fairness interventions beyond observational data and against an unbiased benchmark. In particular, we can test whether a given remedy can alleviate the injected bias by comparing the predictions resulting after the intervention in the biased setting with true labels in the unbiased regime-that is, before any bias injection. We illustrate the utility of our toolkit via a proof-of-concept case study on synthetic data. Our empirical analysis showcases the type of insights that can be obtained through our simulations.
translated by 谷歌翻译
当经过自动化决策时,决策主题将战略性地修改其可观察特征,他们认为可以最大限度地提高收到理想的结果的机会。在许多情况下,潜在的预测模型是故意保密的,以避免游戏并保持竞争优势。这种不透明度迫使决策主题依赖于制定战略功能修改时依赖不完整的信息。我们将这样的设置捕获作为贝叶斯劝说的游戏,其中决策者发送信号,例如动作建议,以便决定受激励他们采取理想的行动。我们制定决策者找到最佳贝叶斯激励兼容(BIC)行动推荐策略作为优化问题的问题,并通过线性程序表征解决方案。通过这种特征,我们观察到,虽然可以显着地简化了找到最佳BIC推荐策略的问题,但是解决该线性程序的计算复杂性与(1)决策主题的动作空间的相对大小紧密相关(2)基础预测模型利用的特征数。最后,我们提供了最佳BIC推荐政策的性能的界限,并表明与标准基线相比,它可能导致任意更好的结果。
translated by 谷歌翻译
在机器学习(ML)算法自动化或提供有关人员的后果决策的环境中,通常会激励个人决策主题以战略性地修改其可观察的属性以获得更有利的预测。结果,对评估规则进行培训的分布可能与其部署中运营的规则不同。尽管这种分配的变化通常可以阻碍准确的预测,但我们的工作确定了由于战略反应而引起的转变相关的独特机会:我们表明我们可以有效地利用战略反应来恢复可观察到的特征与我们希望预测的可观察到的因果关系,即使在没有观察到的混杂变量的情况下。具体而言,我们的工作通过观察到部署模型的序列可以看作是影响代理可观察到的特征但不会直接影响其结果的工具,从而建立了对ML模型的战略响应与仪器变量(IV)回归之间的新颖联系。我们表明,我们的因果恢复方法可用于改善几个重要标准的决策:个人公平,代理结果和预测风险。特别是,我们表明,如果决策主体在修改非毒物属性的能力上有所不同,那么与因果系数偏离的任何决策规则都可能导致(潜在无限)个体级别的不公平性。
translated by 谷歌翻译
Objectives: Discussions of fairness in criminal justice risk assessments typically lack conceptual precision. Rhetoric too often substitutes for careful analysis. In this paper, we seek to clarify the tradeoffs between different kinds of fairness and between fairness and accuracy.Methods: We draw on the existing literatures in criminology, computer science and statistics to provide an integrated examination of fairness and accuracy in criminal justice risk assessments. We also provide an empirical illustration using data from arraignments.Results: We show that there are at least six kinds of fairness, some of which are incompatible with one another and with accuracy.Conclusions: Except in trivial cases, it is impossible to maximize accuracy and fairness at the same time, and impossible simultaneously to satisfy all kinds of fairness. In practice, a major complication is different base rates across different legally protected groups. There is a need to consider challenging tradeoffs.
translated by 谷歌翻译
我们研究了顺序预测和在线minimax遗憾的问题,并在一般损失函数下具有随机生成的特征。我们介绍了一个预期的最坏情况下的概念minimax遗憾,它概括并涵盖了先前已知的minimax遗憾。对于这种极匹马的遗憾,我们通过随机全局顺序覆盖的新颖概念建立了紧密的上限。我们表明,对于VC-Dimension $ \ Mathsf {Vc} $和$ I.I.D. $生成的长度$ t $的假设类别,随机全局顺序覆盖的基数可以在上限上限制高概率(WHP) e^{o(\ mathsf {vc} \ cdot \ log^2 t)} $。然后,我们通过引入一种称为Star-Littlestone维度的新复杂度度量来改善这种束缚,并显示与Star-Littlestone dimension $ \ Mathsf {Slsf {sl} $类别的类别允许订单的随机全局顺序覆盖$ e^{o(\ Mathsf) {sl} \ cdot \ log t)} $。我们进一步建立了具有有限脂肪的数字的真实有价值类的上限。最后,通过应用固定设计的Minimax遗憾的信息理论工具,我们为预期的最坏情况下的Minimax遗憾提供了下限。我们通过在预期的最坏情况下对对数损失和一般可混合损失的遗憾建立紧密的界限来证明我们的方法的有效性。
translated by 谷歌翻译
由于其定量优点和高灵敏度,位置排放断层扫描(PET)被广泛用于诊所和研究中,但遭受了低信噪比(SNR)的侵害。最近,卷积神经网络(CNN)已被广泛用于提高宠物图像质量。尽管在局部特征提取方面取得了成功和有效的效率,但由于其接受场有限,CNN无法很好地捕获远距离依赖性。全球多头自我注意力(MSA)是捕获远程信息的流行方法。但是,3D图像的全局MSA计算具有较高的计算成本。在这项工作中,我们提出了一个有效的空间和渠道编码器变压器Spach Transformer,可以基于本地和全局MSA来利用空间和渠道信息。基于不同宠物示踪剂数据集的实验,即$^{18} $ f-fdg,$^{18} $ f-acbc,$^{18} $ f-dcfpyl,$ f-dcfpyl和$^{68} $ ga--进行了Dotatate,以评估提出的框架。定量结果表明,所提出的SPACH变压器可以比其他参考方法获得更好的性能。
translated by 谷歌翻译
心脏病发病率和心脏死亡率大大增加,这会影响全球公共卫生和世界经济。心脏病的早期预测对于降低心脏发病率和死亡率至关重要。本文提出了两种量子机学习方法,即混合量子神经网络和混合随机森林量子神经网络,用于早期检测心脏病。这些方法应用于克利夫兰和Statlog数据集上。结果表明,混合量子神经网络和混合随机森林量子神经网络分别适用于高维和低维问题。混合量子神经网络对离群数据敏感,而混合随机森林对异常数据的稳健数据具有稳健性。不同机器学习方法之间的比较表明,提出的量子方法更适合于早期的心脏病预测,其中分别为Cleveland和Statlog数据集获得了曲线下96.43%和97.78%的面积。
translated by 谷歌翻译